Екатерина II долгое время состояла в переписке с великим европейским просветителем Вольтером и отчасти разделяла его идеи. После смерти философа в 1778 году императрица загорелась идеей увековечить память о нём, построив в Царскосельском парке точную копию Фернейского замка Вольтера и разместить в нём купленную у наследницы библиотеку философа. В письме своему политическому агенту, дипломату барону Ф. Гримму она писала: «Царскосельский парк не должен существовать, если в нем не будет Фернейского замка».  Однако строительство замка даже не началось, а библиотека стала частью собственной «комнатной» библиотеки императрицы в Эрмитаже.

Вместо Фернейского замка в Царскосельском парке был построен летний дворец для её любимого внука, будущего императора Александра I – сына Павла I.

Проект дворца в стиле палладианской загородной виллы, гениально адаптированной к суровым северным условиям, был поручен итальянскому архитектору Д. Кваренги.

Постройку дворца начали в 1792 году и к маю 1796 года практически завершили его отделку. 12 июня великий князь Александр Павлович с семьёй и двором уже переехал в новый дворец. Императрица отмечала новоселье с внуком и его семьёй в открытой колоннаде дворца, где подавали прекрасный десерт и откуда открывался красивый вид на парк.

Снаружи творение Кваренги отличается простотой и строгостью стиля. Величественная колоннада возвышается перед средним фасадом, несколько отступая от него и формируя внутренний дворик. Позднее у колоннады были установлены два бронзовых изваяния «Бабочник» и «Сваечник», которым посвящено известное стихотворение А.С. Пушкина. Статуи изготовлены 1838 году на Александровском чугунолитейном заводе и олицетворяют две старинные русские игры в бабки и свайку, а также подчёркивают неприметный парадный вход во дворец. Противоположный, парковый, фасад украшен полуротондой со сферическим куполом и террасой, выложенной плитками серого и белого мрамора.

Первый владелец дворца - Александр I, став императором, перебрался в Петербург, а приезжая в Царское Село отдавал предпочтение своим апартаментам в Екатерининском дворце. Александровский дворец чаще использовался как запасной «жилой фонд» для приближенных, которых обыкновенно поселяли на втором «Кавалерском» этаже.

Его брат и преемник император Николай I, напротив, предпочитал весну и осень жить с семьёй в Александровском дворце, а шумные приемы, торжества и церковные службы проводить в Большом Екатерининском дворце. Именно при нём новый дворец в память о брате стал именоваться Александровским. После внезапной смерти любимой дочери Александры (Адини), Николай I охладел к Царскому Селу и бывал там лишь изредка.

Последующие императоры тоже не баловали Александровский дворец своим присутствием: Александр II предпочитал Екатерининский дворец, а семья Александра III больше проводила времени в Гатчинской резиденции.

При смене владельцев дворец неоднократно перестраивался, менялось назначение комнат, устанавливалось новое инженерное оборудование.

Особенно активно дворец начал перестраиваться при Николае II, превратившись из сугубо летней резиденции в место круглогодичного проживания. Император выбрал для себя восточную половину дворца, ранее занимаемую свитой - на её месте появились личные апартаменты Николая II и Александры Федоровны. К наружной стене первого этажа дворца был пристроен балкон с навесом, усовершенствована система отопления и водоснабжения.

В 1897 году по проекту С. Данини был построен подземный тоннель (ныне недействующий) в кухонный флигель для скрытого перемещения прислуги. В здании появилась пожарная сигнализация, телефон, пожарный водопровод, лифт и многое другое.

В 1901 - 1904 годах в Царское Село был проведен Орловский водопровод. На случай его повреждения, архитектором С. Данини в Александровском парке напротив Знаменской церкви было построено подземное водохранилище для снабжения дворца чистою водою, доставляемою из каптированных Орловских ключей.

После революции 1905 года Александровский дворец становится постоянной резиденцией Николая II и любимым местом жительства его семьи. Время было неспокойное, поэтому в подвале дворца, под спальнями царя и царицы постоянно дежурили офицеры охраны, а в покоях были установлены тревожные кнопки. Дежурное помещение соединялось телефонной связью со всеми постами у ограды и городской телефонной сетью. В обширных подвалах дворца, по площади помещений, превосходящих первый жилой этаж, ежедневно находилось с учетом охраны, около 200–250 человек обслуги.

В 1917 году имперская история дворца завершилась. Именно из него, после томительного домашнего ареста, 1 августа 1917 года царская семья была отправлена в ссылку в Тобольск, откуда им было уже не суждено вернуться.

Уже в 1918 году в Александровском дворце была открыта историко-бытовая экспозиция, посвященная жизни семьи последнего Российского самодержца. Позднее, в половине дворца разместился дом отдыха НКВД, а в комнатах детей Николая II — Детский дом имени Юных Коммунаров. В 1932 году Детский дом был закрыт, а игрушки и мебель императорских детей были переданы в Музей игрушки.

Во время оккупации г. Пушкина во время Великой Отечественной войны, в Александровском дворце размещались немецкий штаб и гестапо, в подвалах — тюрьма, площадь перед дворцом была превращена в офицерское кладбище.

С 1951 года в дворце располагались военно-морское училище, потом военный НИИ, а сохранённые коллекции музея были переданы на хранение в Екатерининский и Павловский дворцы. Долгое время Александровский дворец оставался закрытым объектом, куда не пускали даже искусствоведов.

Лишь в 1997 году в Александровском дворце открылась первая экспозиция, а в 2009 году дворец окончательно передали музею. В частично сохранившихся исторических и несохранившихся интерьерах (выставочных комнатах) выставлялись предметы убранства и личные вещи семьи последнего императора. 

В 2015 году была начата масштабная реконструкция и техническое переоснащение Александровского дворца с приспособлением под многофункциональный музейный комплекс. Первая очередь работ завершена летом 2021 года и теперь для посещения открыты 13 залов в восточном крыле дворца: Приёмная, Рабочий кабинет, Мавританская уборная, Камердинерская, Парадный кабинет, Свитская, Спальня Александры Фёдоровны, Сиреневый кабинет, Угловая, Палисандровая и Кленовая гостиные, Большая и Малая библиотеки. Открытие дворца в полном объёме планируется не раньше 2023 года.